Elizabeth sinh ra trong Cung điện Westminster ở Luân Đôn; là con gái đầu tiên và cũng là hậu duệ lớn nhất của Edward IV của Anh và Elizabeth Woodville. Edward IV là con trai lớn nhất của Richard Plantagenet, Công tước thứ ba của York và Cecily Neville, xuất thân từ dòng họ Neville danh giá của nước Anh. Còn mẹ bà, Elizabeth Woodville là con gái lớn của Richard Woodville, Bá tước Rivers thứ nhất và Jacquetta xứ Luxembourg, con gái của Peter I xứ Luxembourg và Margaret xứ Baux. Lễ rửa tội của bà diễn ra tại Tu viện Westminster, có sự hiện diện của bà ngoại bà Jacquetta và bà nội bà là Cecily Neville[2].

Vào năm 3 tuổi, Elizabeth đã được hứa hôn với George Neville. Sau đó, cha của George là John Neville, Hầu tước xứ Montagu thứ nhất lại ủng hộ sự nổi loạn của Richard Neville, Bá tước thứ 16 xứ Warwick, em họ theo bên mẹ của cha bà. Vì vậy hôn ước bị hủy bỏ ngay lập tức. Năm 1475, Louis XI của Pháp đồng ý việc hôn ước giữa Elizabeth - khi đó 9 tuổi - với người kế vị của ông, Charles VIII của Pháp. Nhưng vào năm 1482, Louis XI lại hủy hôn ước.

Ngày 9 tháng 4 năm 1483, Edward IV đột ngột qua đời, và em trai của bà là Edward kế vị, tức Edward V của Anh. Richard, Công tước Gloucester đã tự lập làm [Bảo Quốc công; Lord Protector] mặc cho sự phản đối của mẹ bà là Thái hậu Elizabeth[3]. Richard sau đó ngăn cách Elizabeth cùng các người em khác khỏi sự kiểm soát của gia đình Woodville, và đón đầu Edward V đang từ Ludlow đến Luân Đôn để chuẩn bị cho việc lên ngôi, và đưa về Tháp Luân Đôn.

Thái hậu Elizabeth cảm thấy sự đe dọa từ Bảo Quốc công, bèn đưa Elizabeth cùng các em đến hầm trú ẩn tại Tu viện Westminster. Hai tháng sau đó, ngày 22 tháng 6 năm 1483, Bảo Quốc công Richard tuyên bố hôn nhân giữa Edward IV và Elizabeth Woodville là bất hợp pháp, Elizabeth Woodville trở về với danh hiệu "Phu nhân Elizabeth Grey" với thân phận là vợ của người chồng quá cố là John Grey.

Bảo Quốc công Richard đưa ra rằng trước khi Edward IV kết hôn với Elizabeth, ông đã có hôn ước với Eleanor Talbot, và hội đồng Nghị viện đưa ra ["Titulus Regius"] để củng cố cáo buộc này. Cách này khiến Elizabeth xứ York cùng các em mình, kể cả Edward V, trở thành con bất hợp pháp và không có quyền thừa kế ngai vàng. Lý do này khiến Edward IV, anh của ông, hoàn toàn không có hậu duệ hợp pháp trên ngai vàng nữa, nên Richard nhân đó lên ngôi kế vị nhà York, tức Richard III của Anh.